home *** CD-ROM | disk | FTP | other *** search
/ Internet Surfer 2.0 / Internet Surfer 2.0 (Wayzata Technology) (1996).iso / pc / text / mac / faqs.077 < prev    next >
Encoding:
Text File  |  1996-02-12  |  27.9 KB  |  656 lines

  1. Frequently Asked Questions (FAQS);faqs.077
  2.  
  3.  
  4.  
  5.     We generally feel that any religion that can't stand to have fun
  6. poked at it is in as sad shape as the corresponding kind of person.
  7.  
  8. III. What kinds of neopagan are there, and where did they come from?
  9.      Depending on who you talk to and what definitions you use, there
  10. are between 40,000 and 200,000 neopagans in the U.S.; the true figure
  11. is probably closer to the latter than the former, and the movement is
  12. still growing rapidly following a major `population explosion' in the
  13. late 1970s.
  14.  
  15.      The numerically largest and most influential neopagan group is
  16. the `Kingdom of Wicca' -- the modern witch covens.  Modern witchcraft
  17. has nothing to do with Hollywood's images of the cackling,
  18. cauldron-stirring crone (though Wiccans sometimes joke about that one)
  19. and is actively opposed to the psychopathic Satanism that many
  20. Christians erroneously think of as `witchcraft'.  Your author is an
  21. initiate Wiccan priest and coven leader of long standing.
  22.  
  23.      Other important subgroups include those seeking to revive Norse,
  24. Egyptian, Amerind, and various kinds of tribal pantheons other than
  25. the Greek and Celtic ones that have been incorporated into Wicca.
  26. These generally started out as Wiccan offshoots or have been so
  27. heavily influenced by Wiccan ritual technique that their people can
  28. work comfortably in a Wiccan circle and vice- versa.
  29.  
  30.      There are also the various orders of ceremonial magicians, most
  31. claiming to be the successors to the turn-of-the-century Golden Dawn
  32. or one of the groups founded by Alesteir Crowley during his brillant
  33. and notorious occult career.  These have their own very elaborate
  34. ritual tradition, and tend to be more intellectual, more rigid, and
  35. less nature-oriented.  They are sometimes reluctant to describe
  36. themselves as neopagans.
  37.  
  38.      The Discordians (and, more recently, the Discordian-offshoot
  39. Church of the Sub-Genius) are few in number but quite influential.
  40. They are the neopagan movement's sacred clowns, puncturing pretense
  41. and adding an essential note to the pagan festivals.  Many Wiccans,
  42. especially among priests and priestesses, are also Discordians and
  43. will look you straight in the eye and tell you that the entire
  44. neopagan movement is a Discordian hoax...
  45.  
  46.      Neopaganism used to be largely a white, upper-middle-class
  47. phenomenon, but that has been changing during the last ten years.  So
  48. called `new-collar' workers have come in in droves during the
  49. eighties.  We still see fewer non-whites, proportionately, than there
  50. are in the general population, but that is also changing (though more
  51. slowly).  With the exception of a few nut-fringe `Aryan' groups
  52. detested by the whole rest of the movement, neopagans are actively
  53. anti-racist; prejudice is not the problem, it's more that the ideas
  54. have tended to be accepted by the more educated segments of society
  55. first, and until recently those more educated segments were mostly
  56. white.
  57.  
  58.      On the East Coast, a higher-than-general-population percentage of
  59. neopagans have Roman Catholic or Jewish backgrounds, but figures
  60. suggest this is not true nationwide.  There is also a very significant
  61. overlap in population with science-fiction fandom and the Society for
  62. Creative Anachronism.
  63.  
  64.      Politically, neopagans are distributed about the same as the
  65. general population, except that whether liberal or conservative they
  66. tend to be more individualist and less conformist and moralistic than
  67. average.  It is therefore not too surprising that the one significant
  68. difference in distribution is the presence of a good many more
  69. libertarians than one would see in a same-sized chunk of the general
  70. population (I particularly register this because I'm a libertarian
  71. myself, but non-libertarians have noted the same phenomenon).  These
  72. complexities are obscured by the fact that the most politically active
  73. and visible neopagans are usually ex-hippie left-liberals from the
  74. 1960s.
  75.  
  76.      I think the most acute generalization made about pagans as a
  77. whole is Margot Adler's observation that they are mostly self-made
  78. people, supreme individualists not necessarily in the assertive or
  79. egoist sense but because they have felt the need to construct their
  80. own culture, their own definitions, their own religious paths, out of
  81. whatever came to hand rather than accepting the ones that the
  82. mainstream offers.
  83.  
  84. IV. Where do I find out more?
  85.      I have deliberately not said much about mythology, or specific
  86. religious practice or aims, or the role of magic and to what extent we
  87. practice and 'believe' in it.  Any one of those is a topic for another
  88. posting; but you can get a lot of information from books. Here's a
  89. basic bibliography:
  90.  
  91.  
  92. Adler, Margot _Drawing_Down_the_Moon_ (Random House 1979, hc)
  93.  
  94. This book is a lucid and penetrating account of who the modern
  95. neo-pagans are, what they do and why they do it, from a woman who
  96. spent almost two years doing observer-participant journalism in the
  97. neo-pagan community.  Especially valuable because it combines an
  98. anthropologist's objectivity with a candid personal account of her own
  99. feelings about all she saw and did and how her ideas about the
  100. neo-pagans changed under the impact of the experiences she went
  101. through.  Recommended strongly as a first book on the subject, and
  102. it's relatively easy to find. There is now a revised and expanded
  103. second edition available.
  104.  
  105.  
  106. Starhawk _The_Spiral_Dance_
  107.  
  108. An anthology of philosophy, poetry, training exercises, ritual
  109. outlines and instructive anecdotes from a successful working coven.
  110. First-rate as an introduction to the practical aspects of magick and
  111. running a functioning circle.  Often findable at feminist bookstores.
  112.  
  113.  
  114. Shea, Robert and Wilson, Robert Anton _Illuminatus!_ (Dell, 1975, pb)
  115.  
  116. This work of alleged fiction is an incredible berserko-surrealist
  117. rollercoaster that _will_ bend your mind into a pretzel with an
  118. acid-head blitzkrieg of plausible, instructive and enlightening lies
  119. and a few preposterous and obscure truths.  Amidst this eccentric tale
  120. of world-girdling conspiracies, intelligent dolphins, the fall of
  121. Atlantis, who _really_ killed JFK, sex, drugs, rock and roll and the
  122. Cosmic Giggle Factor, you will find Serious Truths about Mind, Time,
  123. Space, the Nature of God(dess) and What It All Means -- and also learn
  124. why you should on no account take them Seriously.  Pay particular
  125. attention to Appendix Lamedh ("The Tactics of Magick"), but it won't
  126. make sense until you've read the rest.
  127.  
  128. This was first published in 3 volumes as _The_Eye_In_The_Pyramid_,
  129. _The_ Golden_Apple_ and _Leviathan_, but there's now a one-volume
  130. trade paperback carried by most chain bookstores under SF.
  131.  
  132.  
  133. Campbell, Joseph W., _The_Masks_of_God_ (Viking Books, 1971, pb)
  134.  
  135. One of the definitive analytical surveys of world mythography -- and
  136. readable to boot! It's in 4 volumes:
  137.  
  138. I. _Primitive_Mythology_
  139. II. _Oriental_Mythology_
  140. III. _Occidental_Mythology_
  141. IV. _Creative_Mythology_
  142.  
  143. The theoretical framework of these books is a form of pragmatic
  144. neo-Jungianism which has enormously influenced the neopagans (we can
  145. accurately be described as the practice for which Campbell and Jung
  146. were theorizing).  Note especially his predictions in vols. I & IV of
  147. a revival of shamanic, vision-quest-based religious forms.  The recent
  148. Penguin pb edition of this book should be available in the Mythology
  149. and Folklore selection of any large bookstore.
  150.  
  151.  
  152. Bonewits, Isaac, _Real_Magic_ (Creative Arts Books, 1979, pb)
  153.  
  154. A fascinating analytical study of the psychodynamics of ritual and
  155. magick.  This was Bonewits's Ph.D. thesis for the world's only known
  156. doctorate in Magic and Thaumaturgy (UC Berkeley, 1971).  Hardest of
  157. the five to find but well worth the effort -- an enormously
  158. instructive, trenchant and funny book.
  159. --
  160.       Eric S. Raymond = esr@snark.thyrsus.com
  161. Xref: bloom-picayune.mit.edu comp.ai.neural-nets:8664 news.answers:4240
  162. Path: bloom-picayune.mit.edu!enterpoop.mit.edu!ira.uka.de!uka!prechelt
  163. From: prechelt@i41s14.ira.uka.de (Lutz Prechelt)
  164. Newsgroups: comp.ai.neural-nets,news.answers
  165. Subject: FAQ in comp.ai.neural-nets -- monthly posting
  166. Supersedes: <nn.posting_720242283@i41s14.ira.uka.de>
  167. Followup-To: comp.ai.neural-nets
  168. Date: 28 Nov 1992 03:17:01 GMT
  169. Organization: University of Karlsruhe, Germany
  170. Lines: 1609
  171. Approved: news-answers-request@MIT.Edu
  172. Expires: 2 Jan 1993 03:18:03 GMT
  173. Message-ID: <nn.posting_722920683@i41s14.ira.uka.de>
  174. Reply-To: prechelt@ira.uka.de (Lutz Prechelt)
  175. NNTP-Posting-Host: i41s18.ira.uka.de
  176. Keywords: questions, answers, terminology, bibliography
  177. Originator: prechelt@i41s18
  178.  
  179. Archive-name: neural-net-faq
  180. Last-modified: 92/11/13
  181.  
  182. (FAQ means "Frequently Asked Questions")
  183.  
  184.   ------------------------------------------------------------------------
  185.         Anybody who is willing to contribute any question or
  186.         information, please email me; if it is relevant,
  187.         I will incorporate it. But: Please format your contribution
  188.         appropriately so that I can just drop it in.
  189.  
  190.         The monthly posting departs at the 28th of every month.
  191.   ------------------------------------------------------------------------
  192.  
  193. This is a monthly posting to the Usenet newsgroup comp.ai.neural-nets
  194. (and news.answers, where it should be findable at ANY time)
  195. Its purpose is to provide basic information for individuals who are
  196. new to the field of neural networks or are just beginning to read this
  197. group. It shall help to avoid lengthy discussion of questions that usually
  198. arise for beginners of one or the other kind.
  199.  
  200. >>>>> SO, PLEASE, SEARCH THIS POSTING FIRST IF YOU HAVE A QUESTION <<<<<
  201.                            and
  202. >>>>> DON'T POST ANSWERS TO FAQs: POINT THE ASKER TO THIS POSTING <<<<<
  203.  
  204. This posting is archived in the periodic posting archive on
  205. "pit-manager.mit.edu" [18.172.1.27] (and on some other hosts as well).
  206. Look in the anonymous ftp directory "/pub/usenet/news.answers",
  207. the filename is as given in 'Archive-name:' header above.
  208. If you do not have anonymous ftp access, you can access the archives
  209. by mail server as well.  Send an E-mail message to
  210. mail-server@pit-manager.mit.edu with "help" and "index" in the body on
  211. separate lines for more information.
  212.  
  213.  
  214. The monthly posting is not meant to discuss any topic exhaustively.
  215.  
  216. Disclaimer: This posting is provided 'as is'.
  217.             No warranty whatsoever is expressed or implied,
  218.             especially, no warranty that the information contained herein
  219.             is correct or useful in any way, although both is intended.
  220.  
  221. >> To find the answer of question number <x> (if present at all), search
  222. >> for the string "-A<x>.)" (so the answer to question 12 is at "-A12.)")
  223.  
  224. And now, in the end, we begin:
  225.  
  226. ============================== Questions ==============================
  227.  
  228. (the short forms and non-continous numbering is intended)
  229. 1.)  What is this newsgroup for ?  How shall it be used ?
  230. 2.)  What is a neural network (NN) ?
  231. 3.)  What can you do with a Neural Network and what not ?
  232. 4.)  Who is concerned with Neural Networks ?
  233.  
  234. 6.)  What does 'backprop' mean ?
  235. 7.)  How many learning methods for NNs exist ?  Which ?
  236. 8.)  What about Genetic Algorithms ?
  237.  
  238. 10.) Good introductory literature about Neural Networks ?
  239. 11.) Any journals and magazines about Neural Networks ?
  240. 12.) The most important conferences concerned with Neural Networks ?
  241. 13.) Neural Network Associations ?
  242. 14.) Other sources of information about NNs ?
  243.  
  244. 15.) Freely available software packages for NN simulation ?
  245. 16.) Commercial software packages for NN simulation ?
  246. 17.) Neural Network hardware ?
  247.  
  248. 19.) Databases for experimentation with NNs ?
  249.  
  250. ============================== Answers ==============================
  251.  
  252. ------------------------------------------------------------------------
  253.  
  254. -A1.)  What is this newsgroup for ?
  255.  
  256. The newsgroup comp.ai.neural-nets is inteded as a forum for people who want
  257. to use or explore the capabilities of Neural Networks or Neural-Network-like
  258. structures.
  259.  
  260. There should be the following types of articles in this newsgroup:
  261.  
  262. 1. Requests
  263.  
  264.   Requests are articles of the form
  265.     "I am looking for X"
  266.   where X is something public like a book, an article, a piece of software.
  267.  
  268.   If multiple different answers can be expected, the person making the
  269.   request should prepare to make a summary of the answers he/she got
  270.   and announce to do so with a phrase like
  271.     "Please email, I'll summarize"
  272.   at the end of the posting.
  273.  
  274.   The Subject line of the posting should then be something like
  275.     "Request: X"
  276.  
  277. 2. Questions
  278.  
  279.   As opposed to requests, questions are concerned with something so specific
  280.   that general interest cannot readily be assumed.
  281.   If the poster thinks that the topic is of some general interest,
  282.   he/she should announce a summary (see above).
  283.  
  284.   The Subject line of the posting should be something like
  285.     "Question: this-and-that"
  286.   or have the form of a question (i.e., end with a question mark)
  287.  
  288. 3. Answers
  289.  
  290.   These are reactions to questions or requests.
  291.   As a rule of thumb articles of type "answer" should be rare.
  292.   Ideally, in most cases either the answer is too specific to be of general
  293.   interest (and should thus be e-mailed to the poster) or a summary
  294.   was announced with the question or request (and answers should
  295.   thus be e-mailed to the poster).
  296.  
  297.   The subject lines of answers are automatically adjusted by the
  298.   news software.
  299.  
  300. 4. Summaries
  301.  
  302.   In all cases of requests or questions the answers for which can be assumed
  303.   to be of some general interest, the poster of the request or question
  304.   shall summarize the ansers he/she received.
  305.   Such a summary should be announced in the original posting of the question
  306.   or request with a phrase like
  307.     "Please answer by email, I'll summarize"
  308.  
  309.   In such a case answers should NOT be posted to the newsgroup but instead
  310.   be mailed to the poster who collects and reviews them.
  311.   After about 10 to 20 days from the original posting, its poster should
  312.   make the summary of answers and post it to the net.
  313.  
  314.   Some care should be invested into a summary:
  315.   a) simple concatenation of all the answers is not enough;
  316.      instead redundancies, irrelevancies, verbosities and
  317.      errors must be filtered out (as good as possible),
  318.   b) the answers shall be separated clearly
  319.   c) the contributors of the individual answers shall be identifiable
  320.      (unless they requested to remain anonymous [yes, that happens])
  321.   d) the summary shall start with the "quintessence" of the answers,
  322.      as seen by the original poster
  323.   e) A summary should, when posted, clearly be indicated to be one
  324.      by giving it a Subject line starting with "Summary:"
  325.  
  326.   Note that a good summary is pure gold for the rest of the newsgroup
  327.   community, so summary work will be most appreciated by all of us.
  328.   (Good summaries are more valuable than any moderator !  :-> )
  329.  
  330. 5. Announcements
  331.  
  332.   Some articles never need any public reaction.
  333.   These are called announcements (for instance for a workshop,
  334.   conference or the availability of some technical report or
  335.   software system).
  336.  
  337.   Announcements should be clearly indicated to be such by giving
  338.   them a subject line of the form
  339.     "Announcement: this-and-that"
  340.  
  341. 6. Reports
  342.  
  343.   Sometimes people spontaneously want to report something to the
  344.   newsgroup. This might be special experiences with some software,
  345.   results of own experiments or conceptual work, or especially
  346.   interesting information from somewhere else.
  347.  
  348.   Reports should be clearly indicated to be such by giving
  349.   them a subject line of the form
  350.     "Report: this-and-that"
  351.  
  352. 7. Discussions
  353.  
  354.   An especially valuable possibility of Usenet is of course that of
  355.   discussing a certain topic with hundreds of potential participants.
  356.   All traffic in the newsgroup that can not be subsumed under one of
  357.   the above categories should belong to a discussion.
  358.  
  359.   If somebody explicitly wants to start a discussion, he/she can do so
  360.   by giving the posting a subject line of the form
  361.     "Start discussion: this-and-that"
  362.   (People who react on this, please remove the
  363.    "Start discussion: " label from the subject line of your replies)
  364.  
  365.   It is quite difficult to keep a discussion from drifting into chaos,
  366.   but, unfortunately, as many many other newsgroups show there seems
  367.   to be no secure way to avoid this.
  368.   On the other hand, comp.ai.neural-nets has not had many problems
  369.   with this effect in the past, so let's just go and hope...   :->
  370.  
  371. ------------------------------------------------------------------------
  372.  
  373. -A2.)  What is a neural network (NN) ?
  374.  
  375.   [anybody there to write something better?
  376.    buzzwords: artificial vs. natural/biological; units and
  377.    connections; value passing; inputs and outputs; storage in structure
  378.    and weights; only local information; highly parallel operation ]
  379.  
  380. First of all, when we are talking about a neural network, we *should*
  381. usually better say "artificial neural network" (ANN), because that is
  382. what we mean  most of the time. Biological neural networks are much
  383. more complicated in their elementary structures than the mathematical
  384. models we use for ANNs.
  385.  
  386. A vague description is as follows:
  387.  
  388. An ANN is a network of many very simple processors ("units"), each
  389. possibly having a (small amount of) local memory. The units are
  390. connected by unidirectional communication channels ("connections"),
  391. which carry numeric (as opposed to symbolic) data.  The units operate
  392. only on their local data and on the inputs they receive via the
  393. connections.
  394.  
  395. The design motivation is what distinguishes neural networks from other
  396. mathematical techniques:
  397.  
  398. A neural network is a processing device, either an algorithm, or actual
  399. hardware, whose design was motivated by the design and functioning of human
  400. brains and components thereof.
  401.  
  402. Most neural networks have some sort of "training" rule
  403. whereby the weights of connections are adjusted on the basis of
  404. presented patterns.
  405. In other words, neural networks "learn" from examples,
  406. just like children learn to recognize dogs from examples of dogs,
  407. and exhibit some structural capability for generalization.
  408.  
  409. Neural networks normally have great potential for parallelism, since
  410. the computations of the components are independent of each other.
  411.  
  412. ------------------------------------------------------------------------
  413.  
  414. -A3.)  What can you do with a Neural Network and what not ?
  415.  
  416.   [preliminary]
  417.  
  418. In principle, NNs can compute any computable function, i.e. they can
  419. do everything a normal digital computer can do.
  420. Especially can anything that can be represented as a mapping between
  421. vector spaces be approximated to arbitrary precision by feedforward
  422. NNs (which is the most often used type).
  423.  
  424. In practice, NNs are especially useful for mapping problems
  425. which are tolerant of a high error rate, have lots of example data
  426. available, but to which hard and fast rules can not easily be applied.
  427.  
  428. NNs are especially bad for problems that are concerned with manipulation
  429. of symbols and for problems that need short-term memory.
  430.  
  431. ------------------------------------------------------------------------
  432.  
  433. -A4.)  Who is concerned with Neural Networks ?
  434.  
  435. Neural Networks are interesting for quite a lot of very dissimilar people:
  436.  
  437. - Computer scientists want to find out about the properties of
  438.   non-symbolic information processing with neural nets and about learning
  439.   systems in general.
  440. - Engineers of many kinds want to exploit the capabilities of
  441.   neural networks on many areas (e.g. signal processing) to solve
  442.   their application problems.
  443. - Cognitive scientists view neural networks as a possible apparatus to
  444.   describe models of thinking and conscience (High-level brain function).
  445. - Neuro-physiologists use neural networks to describe and explore
  446.   medium-level brain function (e.g. memory, sensory system, motorics).
  447. - Physicists use neural networks to model phenomena in statistical
  448.   mechanics and for a lot of other tasks.
  449. - Biologists use Neural Networks to interpret nucleotide sequences.
  450. - Philosophers and some other people may also be interested in
  451.   Neural Networks for various reasons.
  452.  
  453. ------------------------------------------------------------------------
  454.  
  455. -A6.)  What does 'backprop' mean ?
  456.  
  457. [anybody to write something similarly short,
  458.  but easier to understand for a beginner ? ]
  459.  
  460. It is an abbreviation for 'backpropagation of error' which is the
  461. most widely used learning method for neural networks today.
  462. Although it has many disadvantages, which could be summarized in the
  463. sentence
  464.   "You are almost not knowing what you are actually doing
  465.    when using backpropagation"  :-)
  466. it has pretty much success on practical applications and is
  467. relatively easy to apply.
  468.  
  469. It is for the training of layered (i.e., nodes are grouped
  470. in layers) feedforward (i.e., the arcs joining nodes are
  471. unidirectional, and there are no cycles) nets.
  472.  
  473. Back-propagation needs a teacher that knows the correct output for any
  474. input ("supervised learning") and uses gradient descent on the error
  475. (as provided by the teacher) to train the weights.  The activation
  476. function is (usually) a sigmoidal (i.e., bounded above and below, but
  477. differentiable) function of a weighted sum of the nodes inputs.
  478.  
  479. The use of a gradient descent algorithm to train its weights makes it
  480. slow to train; but being a feedforward algorithm, it is quite rapid during
  481. the recall phase.
  482.  
  483. Literature:
  484.   Rumelhart, D. E. and McClelland, J. L. (1986):
  485.   Parallel Distributed Processing: Explorations in the
  486.   Microstructure of Cognition (volume 1, pp 318-362).
  487.   The MIT Press.
  488. (this is the classic one) or one of the dozens of other books
  489. or articles on backpropagation  :->
  490.  
  491. ------------------------------------------------------------------------
  492.  
  493. -A7.)  How many learning methods for NNs exist ?  Which ?
  494.  
  495. There are many many learning methods for NNs by now. Nobody can know
  496. exactly how many.
  497. New ones (at least variations of existing ones) are invented every
  498. week. Below is a collection of some of the most well known methods;
  499. not claiming to be complete.
  500.  
  501. The main categorization of these methods is the distiction of
  502. supervised from unsupervised learning:
  503.  
  504. - In supervised learning, there is a "teacher" who in the learning
  505.   phase "tells" the net how well it performs ("reinforcement learning")
  506.   or what the correct behavior would have been ("fully supervised learning").
  507.  
  508. - In unsupervised learning the net is autonomous: it just looks at
  509.   the data it is presented with, finds out about some of the
  510.   properties of the data set and learns to reflect these properties
  511.   in its output. What exactly these properties are, that the network
  512.   can learn to recognise, depends on the particular network model and
  513.   learning method.
  514.  
  515. Many of these learning methods are closely connected with a certain
  516. (class of) network topology.
  517.  
  518. Now here is the list, just giving some names:
  519.  
  520. 1. UNSUPERVISED LEARNING (i.e. without a "teacher"):
  521.        1). Feedback Nets:
  522.        a). Additive Grossberg (AG)
  523.        b). Shunting Grossberg (SG)
  524.        c). Binary Adaptive Resonance Theory (ART1)
  525.        d). Analog Adaptive Resonance Theory (ART2, ART2a)
  526.        e). Discrete Hopfield (DH)
  527.        f). Continuous Hopfield (CH)
  528.        g). Discrete Bidirectional Associative Memory (BAM)
  529.        h). Temporal Associative Memory (TAM)
  530.        i). Adaptive Bidirectional Associative Memory (ABAM)
  531.            j). Kohonen Self-organizing Map (SOM)
  532.            k). Kohonen Topology-preserving Map (TPM)
  533.        2). Feedforward-only Nets:
  534.        a). Learning Matrix (LM)
  535.        b). Driver-Reinforcement Learning (DR)
  536.        c). Linear Associative Memory (LAM)
  537.        d). Optimal Linear Associative Memory (OLAM)
  538.        e). Sparse Distributed Associative Memory (SDM)
  539.        f). Fuzzy Associative Memory (FAM)
  540.        g). Counterprogation (CPN)
  541.  
  542. 2. SUPERVISED LEARNING (i.e. with a "teacher"):
  543.        1). Feedback Nets:
  544.        a). Brain-State-in-a-Box (BSB)
  545.        b). Fuzzy Congitive Map (FCM)
  546.        c). Boltzmann Machine (BM)
  547.            d). Mean Field Annealing (MFT)
  548.            e). Recurrent Cascade Correlation (RCC)
  549.        f). Learning Vector Quantization (LVQ)
  550.        2). Feedforward-only Nets:
  551.        a). Perceptron
  552.        b). Adaline, Madaline
  553.        c). Backpropagation (BP)
  554.        d). Cauchy Machine (CM)
  555.        e). Adaptive Heuristic Critic (AHC)
  556.            f). Time Delay Neural Network (TDNN)
  557.        g). Associative Reward Penalty (ARP)
  558.        h). Avalanche Matched Filter (AMF)
  559.            i). Backpercolation (Perc)
  560.            j). Artmap
  561.            k). Adaptive Logic Network (ALN)
  562.            l). Cascade Correlation (CasCor)
  563.  
  564. ------------------------------------------------------------------------
  565.  
  566. -A8.)  What about Genetic Algorithms ?
  567.  
  568. [preliminary]
  569. [Who will write a better introduction?]
  570.  
  571. There are a number of definitions of GA (Genetic Algorithm).
  572. A possible one is
  573.  
  574.   A GA is an optimization program
  575.   that starts with some encoded procedure,  (Creation of Life :-> )
  576.   mutates it stochastically,                (Get cancer or so :-> )
  577.   and uses a selection process              (Darwinism)
  578.   to prefer the mutants with high fitness
  579.   and perhaps a recombination process       (Make babies :-> )
  580.   to combine properties of (preferably) the succesful mutants.
  581.  
  582. Some GA discussion tends to happen in comp.ai.neural-nets.
  583. Another loosely relevant group is comp.theory.self-org-sys.
  584. Perhaps it is time for a comp.ai.ga, comp.theory.ga or maybe comp.ga
  585. There is a GA mailing list which you can subscribe to by
  586. sending a request to GA-List-Request@AIC.NRL.NAVY.MIL
  587. You can also try anonymous ftp to
  588.   ftp.aic.nrl.navy.mil
  589. in the /pub/galist directory. There are papers and some software.
  590.  
  591. For more details see (for example):
  592.  
  593. "Genetic Algorithms in Search Optimisation and Machine Learning"
  594. by David Goldberg (Addison-Wesley 1989, 0-201-15767-5) or
  595.  
  596. "Handbook of Genetic Algorithms"
  597. edited by Lawrence Davis (Van Nostrand Reinhold 1991 0-442-00173-8) or
  598.  
  599. "Classifier Systems and Genetic Algorithms"
  600. L.B. Booker, D.E. Goldberg and J.H. Holland, Techreport No. 8 (April 87),
  601. Cognitive Science and Machine Intelligence Laboratory, University of Michigan
  602.   also reprinted in :
  603. Artificial Intelligence, Volume 40 (1989), pages 185-234
  604.  
  605. ------------------------------------------------------------------------
  606.  
  607. -A10.) Good introductory literature about Neural Networks ?
  608.  
  609. 0.) The best (subjectively, of course -- please don't flame me):
  610.  
  611. Hecht-Nielsen, R. (1990). Neurocomputing. Addison Wesley.
  612. Comments: "A good book", "comprises a nice historical overview and a chapter
  613. about NN hardware. Well structured prose. Makes important concepts clear."
  614.  
  615. Hertz, J., Krogh, A., and Palmer, R. (1991). Introduction to the Theory of
  616. Neural Computation. Addison-Wesley: Redwood City, California.
  617. Comments: "My first impression is that this one is by far the best book on
  618. the topic. And it's below $30 for the paperback."; "Well written, theoretical
  619. (but not overwhelming)"; It provides a good balance of model development,
  620. computational algorithms, and applications. The mathematical derivations
  621. are especially well done"; "Nice mathematical analysis on the mechanism of
  622. different learning algorithms"; "It is NOT for mathematical beginner.
  623. If you don't have a good grasp of higher level math, this book can
  624. be really tough to get through."
  625.  
  626.  
  627. 1.) Books for the beginner:
  628.  
  629. Aleksander, I. and Morton, H. (1990). An Introduction to Neural Computing.
  630. Chapman and Hall. (ISBN 0-412-37780-2).
  631. Comments: "This book seems to be intended for the first year of university
  632. education."
  633.  
  634. Beale, R. and Jackson, T. (1990). Neural Computing, an Introduction.
  635. Adam Hilger, IOP Publishing Ltd : Bristol. (ISBN 0-85274-262-2).
  636. Comments: "It's clearly written.  Lots of hints as to how to get the
  637. adaptive models covered to work (not always well explained in the
  638. original sources).  Consistent mathematical terminology.  Covers
  639. perceptrons, error-backpropagation, Kohonen self-org model, Hopfield
  640. type models, ART, and associative memories."
  641.  
  642. Dayhoff, J. E. (1990). Neural Network Architectures: An Introduction.
  643. Van Nostrand Reinhold: New York.
  644. Comments: "Like Wasserman's book, Dayhoff's book is also very easy to
  645. understand".
  646.  
  647. McClelland, J. L. and Rumelhart, D. E. (1988).
  648. Explorations in Parallel Distributed Processing: Computational Models of
  649. Cognition and Perception (software manual). The MIT Press.
  650. Comments: "Written in a tutorial style, and includes 2 diskettes of NN
  651. simulation programs that can be compiled on MS-DOS or Unix (and they do
  652. too !)"; "The programs are pretty reasonable as an introduction to some
  653. of the things that NNs can do."; "There are *two* editions of this book.
  654. One comes with disks for the IBM PC, the other comes with disks for the
  655. Macintosh".
  656.